腾讯如何用Elasticsearch挖掘万亿数据价值?
Elasticsearch(ES)是近年来炙手可热的开源分布式搜索分析引擎,通过简单部署,它可以轻松实现日志实时分析、全文检索、结构化数据分析等多重诉求,并将挖掘数据价值的成本大幅降低。
在腾讯内部,ES的应用场景主要有“日志实时分析、搜索服务、时序数据分析等。
1.【日志实时分析场景】
运营日志:如慢日志、异常日志(用来定位业务问题);
业务日志:如用户的点击、访问日志(用来分析用户行为);
审计日志:可用于安全分析。
Elastic生态完整:任何一个开发者,可通过简单部署成熟的组件,搭建起一个完整的日志实时分析系统。
时效性极高:日志从产生到可访问的耗时一般在10S级。相比于传统大数据解决方案几十分钟~几小时的耗时,时效性提高了数百倍。
灵活的搜索分析能力:由于支持倒排索引、列存储等数据结构,ES拥有非常灵活的搜索分析能力。
搜索响应时间短:ES支持交互式分析,即使有万亿级的日志,其搜索响应时间也是秒级。
商品搜索:即各大电商平台中的商品搜索;
APP 搜索:即应用商店里的应用搜索;站内搜索:即论坛、在线文档等搜索功能。高性能:单个服务最大达到 10w+ QPS,平均响应时长约20ms,P95延时小于100ms。
强相关:搜索体验主要取决于“搜索结果”与“用户意图”之间的匹配度,可通过正确率、召回率等指标进行评估。
高可用:搜索场景通常要求4个9的可用性,并支持单机房故障容灾。
Metrics:即传统的服务器监控。
APM:应用性能监控。
传感器数据:由物联网数据,智能硬件、工业物联网等产生。
高并发写入:线上单集群最大规模高达 600+节点,写入吞吐量为1000w/s 。
高查询性能:要求单条曲线或者单个时间线的查询延时在10ms级。
多维分析:要求灵活、多维度的统计分析能力,如在查看监控时,可以按照地域、业务模块等不同维度进行统计分析。
高可用:以电商搜索、APP 搜索、站内搜索为例,它们重视可用性,服务SLA为4个9以上,需要考虑单机故障、单机房网络故障等灾备场景。
高性能:它们对性能有极高的标准,如 20w QPS、平响 20ms、P95延时100ms。
1系统健壮性:指 ES 内核自身的健壮性,这也是分布式系统面临的共性难题。例如:
2.容灾方案:如通过建设管控系统,保障机房网络故障时快速恢复服务、自然灾害下防止数据丢失、误操作后快速回滚等。
3.系统缺陷:这是任何系统在发展的过程中都不可避免的问题,比如Master 节点堵塞、分布式死锁、滚动重启缓慢等。
服务不稳定:通过服务限流,容忍机器网络故障、异常查询等异常情况。
集群扩展性问题:通过优化集群元数据管控逻辑,提升了10倍的集群扩展能力,支持千级节点集群、百万分片;
集群均衡问题:通过优化节点、多硬盘间的分片均衡,保证大规模集群的压力均衡。
数据可恢复:
通过扩展 ES 的插件机制支持备份回档,把 ES 的数据备份回档到廉价存储,保证数据的可恢复;
故障容忍:
腾讯云ES支持跨可用区容灾,用户可以按需部署多个可用区,以容忍单机房故障。
此外,腾讯云ES还支持COS备份的功能,用户可以通过操作ES的api,直接备份底层的数据文件到腾讯云对象存储COS上,实现了低成本、操作简便的数据备份功能。
异常恢复:
通过垃圾桶机制,保证用户在欠费、误操作等场景下,集群可快速恢复。
权限层级:优化后,ES支持 XPack 和自研权限来防止攻击和误操作;
队列层级:通过优化任务执行速度、重复、优先级等细节,解决用户经常遇到的Master 任务队列堆积、任务饿死等问题;
内存层级:从ES 6.x 开始,支持在全链路上( 包括HTTP 入口、协调节点、数据节点等)进行内存限流:同时使用 JVM 内存、梯度统计等方式进行精准控制;
多租户层级:使用 CVM/Cgroups 方案保证多租户间的资源隔离。
(1)采用冷热分离架构,使用混合存储的方案来平衡成本、性能;
(2)既然对历史数据通常都是访问统计信息,那么通过预计算来换取存储和性能;
(3)如果历史数据完全不使用,可以备份到更廉价的存储系统;
(4)基于时序数据的访问特性,内存成本方面可以利用 Cache 进行优化。
(5)其他一些优化方式:如存储裁剪、生命周期管理等。
(1)写入优化:针对主键去重场景,利用索引进行裁剪,加速主键去重的过程,使写入性能提升 45%。此外,通过向量化执行优化写入性能,通过减少分支跳转、指令 Miss,也是腾讯探索中的方向之一,预计性能可提升1倍。
(2)CPU利用率优化:针对部分压测场景下 CPU 不能充分利用的问题,通过优化 ES 刷新 Translog 时的资源抢占,使性能提升 20%。
(3)查询优化:通过优化 Merge 策略提升查询性能。基于每个 Segment 记录的 min/max 索引进行查询剪枝,提升了30%的查询性能 。通过CBO策略,避免查询 Cache 操作导致查询耗时10+倍的毛刺。此外,通过一些新硬件(如英特尔的 AEP、Optane、QAT 等)来优化性能也是不错的探索方向。
安全容灾:多可用区提供了容灾保障、X-Pack权限管理提供了安全保障;
运维效率:云上提供了高效部署和稳定的弹性伸缩能力,X-Pack提供的SQL能力提升了操作便捷性;运维效率的提高极大地解放了人力。
迁移后仍保持了M自建ES时自研开发的运维系统的对接;
迁移过程中,M对内核的特殊需求,ES社区版本并不支持,腾讯云ES专门的内核团队积极相应,提供了该能力。
(1) DataEngineering,包含大家熟悉的批量计算、流式计算;
(2) DataDiscovery,包含交互式分析、搜索等;
(3) DataApps,主要用于支撑在线服务。
文章不错?点个【在看】吧! 👇